MOR-UAV: A Benchmark Dataset and Baselines for Moving Object Recognition in UAV Videos

Visual data collected from Unmanned Aerial Vehicles (UAVs) has opened a new frontier of computer vision that requires automated analysis of aerial images/videos. However, the existing UAV datasets primarily focus on object detection. An object detector does not differentiate between the moving and non-moving objects. Given a real-time UAV video stream, how can we both localize and classify the moving objects, i.e. perform moving object recognition (MOR)? The MOR is one of the essential tasks to support various UAV vision-based applications including aerial surveillance, search and rescue, event recognition, urban and rural scene understanding.To the best of our knowledge, no labeled dataset is available for MOR evaluation in UAV videos. Therefore, in this paper, we introduce MOR-UAV, a large-scale video dataset for MOR in aerial videos. We achieve this by labeling axis-aligned bounding boxes for moving objects which requires less computational resources than producing pixel-level estimates. We annotate 89,783 moving object instances collected from 30 UAV videos, consisting of 10,948 frames in various scenarios such as weather conditions, occlusion, changing flying altitude and multiple camera views. We assigned the labels for two categories of vehicles (car and heavy vehicle). Furthermore, we propose a deep unified framework MOR-UAVNet for MOR in UAV videos. Since, this is a first attempt for MOR in UAV videos, we present 16 baseline results based on the proposed framework over the MOR-UAV dataset through quantitative and qualitative experiments. We also analyze the motion-salient regions in the network through multiple layer visualizations. The MOR-UAVNet works online at inference as it requires only few past frames. Moreover, it doesn't require predefined target initialization from user. Experiments also demonstrate that the MOR-UAV dataset is quite challenging

Localization using single camera and Lidar

Navigasyon çözümlerinin temel bileşenlerinden biri olan konum kestirimi problemi,günümüzde çoğunlukla küresel konumlama sistemi (KKS) ile diğer kaynaklardan elde edilen verilerin (ataletsel ölçüm birimi, sayısal arazi yükseklik verisi haritaları, barometrik basınç sensörü, tekerlek kilometre sayacı vb.) bir arada kullanılmasıyla çözülmektedir. KKS sinyallerinin kullanılamadığı ortamlarda ise konum kestirimi problemi literatürdeki açık problemler arasında yerini korumaya devam etmektedir. ̇Insanlı veya insansız, otonom veya değil farketmeksizin, herhangi bir aracın/robotun KKS sinyallerini kullanamadığı durumlarda da seyrüsefer görevini yerine getirebilmesi için, doğru ve yüksek hassasiyetli konum kestirimi yapabilmesi gerekmektedir. Altı serbestlik dereceli konum kestirimi için kullanılan çeşitli yöntemler ile algılayıcı donanımlar detaylı incelendiğinde herbirinin çeşitli avantajlarının ve dezavantajlarının bulunduğu anlaşılmaktadır. Farklı kaynaklardan elde edilen verilerin birarada kullanıldığı yöntemlerin, altı serbestlik dereceli konum kestirimi probleminin çözümünde daha iyi sonuçlar verdiği görülmektedir. Bu tez çalışmasında, tek bir kamera ve lidar sensörü kullanılarak, KKS sinyallerinin kullanılamadığı ortamlarda altı serbestlik dereceli konum bilgisinin kestirilmesi problemi ele alınmıştır. Tek bir kameradan alınan verilerin işlenmesi ile elde edilen konum bilgisinin, kestirilemeyen bir ölçek dahilinde doğru olduğu bilinmektedir. Doğru metrik ölçülerle konum bilgisini kestirebilmek için bu ölçek bilgisinin çeşitli yöntemlerle hesaplanması gerekmektedir. Bu tezde, kameradan alınan resim kareleri üzerindeki piksellerle, Lidar sensöründen elde edilen metrik veriler kullanılarak altı serbestlik dereceli konum bilgisi mutlak ölçekler dahilinde hesaplanmıştır. Önerilen algoritmanın testleri KITTI odometri veri kümesi üzerinde yapılmıştır. KITTI odometri veri kümesi; hareketli bir otomobilin üzerine yerleştirilmiş olan stereo kameralar, Lidar, ataletsel ölçüm birimi (AÖB) ve Küresel Konumlama Sistemi'nden elde edilen verilerle oluşturulmuştur. KITTI odometri veri kümesi içerisinde yer alan tek bir renkli kamera verisi ile Lidar sensörü verileri bu tezin konusu olan algoritmanın testleri için kullanılmıştır. KKS ve AÖB'den elde edilen veriler ise önerilen Görsel-Lidar Odometri algoritmasının başarısını kıyaslamak üzere referans olarak kullanılmıştır. KITTI odometri veri kümesi kullanılarak elde edilen test sonuçları, tek bir kamera verisi ile Lidar taramaları kullanılarak geliştirilen Görsel-Lidar Odometri yönteminin, maliyetli optimizasyon yöntemlerine ihtiyaç duyulmadan tutarlı konum bilgisi üretebildiğini göstermiştir.The location estimation problem, which is one of the basic elements of the navigation solutions, is mostly solved by using the global positioning system (GPS) and the data obtained from other sources (inertial measurement unit, digital terrain elevation datamaps, barometric pressure sensor, wheel odometer etc.). In GPS-denied environments,the position estimation problem is still an open problem in the literature. Any vehicle/robot(whether manned or unmanned, autonomous or not) must be able to perform accurate and high-precision location estimation in order to perform its navigation task even in GPS-denied environments. When the various methods used for the six degrees-of-freedom location estimation and the sensory equipment are examined in detail, it is understood that each has various advantages and disadvantages. It is obvious that the methods which use the data obtained from different sources together give better results in the solution of six degrees of freedom location estimation problem.In this thesis, six degrees-of-freedom (6-DOF) position estimation problem in GPS-denied environments is examined by using a single camera and lidar sensor. It is known that the position information which is obtained from a single camera is accurate up to an unknown scale factor. In order to estimate location of a vehicle with accurate metric measurements, this unknown scale information should be calculated by various methods. In this study, six degrees of freedom position information is calculated within the absolute scales by using the metric data obtained from the Lidar sensor with the pixels on the picture frames taken from the camera. Tests of the proposed algorithm were performed on the KITTI odometry dataset. KITTI odometry dataset were created with data taken from stereo cameras, Lidar, inertial measurement unit and GPS receivers which are placed on a moving car. A single color camera frames and Lidar sensor data in the KITTI odometry dataset were used to test the proposed algorithm in this thesis. Data from GPS and inertial measurement unit (IMU) were used as a reference to compare the success of the proposed Visual-Lidar Odometry algorithm. The test results obtained using the KITTI odometry dataset showed that the Visual-Lidar Odometry method, developed using a single camera data and Lidar scans, can produce consistent location information without the need for costly optimization methods